Google DeepMind 正在研發一款創新的 AI 滑鼠指標，它能結合 Gemini AI 模型和麥克風，理解使用者口語中的「這裡」與「那裡」等指示，大幅簡化人機互動流程，讓 AI 助手更自然地融入日常操作，這被視為逾 50 年來滑鼠指標設計的重大突破。
Google DeepMind 正在研發一款結合人工智慧的滑鼠指標，這項技術能理解使用者在螢幕上點擊的上下文，是逾半世紀以來滑鼠指標設計的重大突破。這項創新整合了 Google 的 Gemini AI 模型與實驗性的情境感知滑鼠指標，旨在讓 AI 助手能更直覺地融入數位互動，免去使用者在不同應用程式間複製、貼上或拖曳內容的繁瑣操作，提升使用流暢度。
根據《The Register》報導，現行的 AI 助手往往需要使用者手動將內容複製到獨立的聊天介面，造成使用上的阻礙。Google DeepMind 的研究團隊則希望實現「直覺式 AI」，讓 AI 能在使用者使用的所有工具中提供協助，而不會中斷其操作流程。這個 AI 滑鼠指標將與電腦麥克風協同運作，讓 Gemini 能在使用者點擊螢幕的同時接收語音指令，進而理解「這個」、「那個」等自然語言指示。
一項展示範例顯示，使用者只要用滑鼠指向螢幕上的螃蟹圖示並說「把這個移到這裡」，系統就能理解語境，自動移動該圖示。這項技術基於「保持流暢性」、「展示與說明」、「將像素轉化為可操作實體」以及「基於人類自然溝通」四大設計原則。其中，「將像素轉化為可操作實體」允許滑鼠指標識別螢幕內容中的結構化物件，例如能將筆記的照片轉換為待辦事項清單。
歷史上，首款電腦滑鼠是由道格拉斯·恩格爾巴特（Doug Engelbart）和比爾·英格利許（Bill English）於 1964 年製造的原型機，並在 1970 年獲得專利，當時恩格爾巴特就曾提及人機互動應更自然便利。Google DeepMind 的研究正是延續了這項願景，讓 AI 能夠在不中斷使用者流程的情況下，提供更深層次的互動。
這項名為「Magic Pointer」的功能預計將在即將推出的 Googlebook 筆記型電腦平台上亮相。此外，Gemini in Chrome 的使用者未來也能夠指向網頁特定區域並提出問題。目前，這款 AI 強化指標的實驗性演示已透過 Google AI Studio 提供，而 Google 也計劃在包括 Google實驗室（Google Labs）旗下的 Disco 在內的其他平台繼續測試這項概念。